Human and Object Recognition with a High-resolution tactile sensor

This paper 1 describes the use of two artificial intelligence methods for object recognition via pressure images from a high-resolution tactile sensor. Both meth- ods follow the same procedure of feature extraction and posterior classification based on a supervised Supported Vector Machine (SVM). The two approaches differ on how features are extracted: while the first one uses the Speeded-Up Robust Features (SURF) descriptor, the other one employs a pre-trained Deep Convolutional Neural Network (DCNN). Besides, this work shows its applica- tion to object recognition for rescue robotics, by distinguishing between differ- ent body parts and inert objects. The performance analysis of the proposed methods is carried out with an experiment with 5-class non-human and 3-class human classification, providing a comparison in terms of accuracy and compu-tational load. Finally, it is discussed how feature-extraction based on SURF can be obtained up to five times faster compared to DCNN. On the other hand, the accuracy achieved using DCNN-based feature extraction can be 11.67% superior to SURF.Proyecto DPI2015-65186-R European Commission under grant agreement BES-2016-078237. Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Mobile Robot Lab Project to Introduce Engineering Students to Fault Diagnosis in Mechatronic Systems

This document is a self-archiving copy of the accepted version of the paper. Please find the final published version in IEEEXplore: http://dx.doi.org/10.1109/TE.2014.2358551This paper proposes lab work for learning fault detection and diagnosis (FDD) in mechatronic systems. These skills are important for engineering education because FDD is a key capability of competitive processes and products. The intended outcome of the lab work is that students become aware of the importance of faulty conditions and learn to design FDD strategies for a real system. To this end, the paper proposes a lab project where students are requested to develop a discrete event dynamic system (DEDS) diagnosis to cope with two faulty conditions in an autonomous mobile robot task. A sample solution is discussed for LEGO Mindstorms NXT robots with LabVIEW. This innovative practice is relevant to higher education engineering courses related to mechatronics, robotics, or DEDS. Results are also given of the application of this strategy as part of a postgraduate course on fault-tolerant mechatronic systems.This work was supported in part by the Spanish CICYT under Project DPI2011-22443

Experiencia docente en Automática empleando un robot móvil como elemento motivador de metodologías activas

A. J. Muñoz-Ramírez and J. M. Gomez-de-Gabriel, “Experiencia docente en Automática empleando un robot móvil como elemento motivador de metodologías activas.pdf,” in Indotec V- 5o International Conference on Educational Innovation in Technical Careers, 2017, pp. 77–82.)Los nuevos títulos de grado centrados en la adquisición de competencias, obligan a adaptar la docencia de las asignaturas hacia un nuevo modelo, donde las competencias son el núcleo de aprendizaje. La tecnología actual ofrece herramientas tales como los entornos de trabajo centrados en el docente como el campus virtual, con Moodle como implementación más extendida, o centrados en el aprendizaje del estudiante como el portafolio electrónico, con “Mahara” una de las implementaciones de mayor difusión; la grabación y producción de vídeos, presentaciones digitales, etc; cuyo dominio garantiza la adquisición de competencias en TIC. Por otra parte, el empleo de metodologías activas centradas en el aprendizaje consigue alcanzar varias competencias de las consideradas claves tanto para el aprendizaje permanente (DO UE L 394 de 30.12.2006) como para su empleo en la futura vida profesional (DE JUANAS OLIVA, 2010). De ambas destacan en común las competencias centradas en el aprender a aprender que además es señalada por los estudiantes en como la más valorada por los estudiantes universitarios(ANECA, 2007).Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Modelar o programar en prácticas de robótica

En este trabajo se muestra la experiencia de usar una herramienta de desarrollo de ingeniería basada en modelos (MDE) frente a otra herramienta tradicional de programacion de sistemas embebidos en lenguaje C, para la realizacion de clases practicas de robotica. Se ha plantea do una practica basada en el control cinemático de un robot móvil en ambos entornos con similares bloques y funciones de partida. Los resultados muestran tanto la comparación de las evaluaciones objetivas realiza das a los dos grupos como los datos relativos a los tiempos requeridos para la realización de las diferentes partes de la practica. Si bien, los resultados del aprendizaje son mayores en el caso del método basado en programacion, la diferencia en tiempos invertidos y otras valoraciones hacen m´as adecuado el MDE .Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Ingeniería Basada en Modelos en Prácticas de Robótica

Muñoz-Ramírez, A.J., Fernández-Lozano, J.J. y Gómez-de-Gabriel, J.M. (2015), "Ingeniería Basada en Modelos en Prácticas de Robótica", XXXVI Jornadas de Automática CEA/IFAC, Bilbao 2015.En este artículo se recoge la experiencia de usar una herramienta de desarrollo de ingeniería basada en modelos ó MDE (Model-Driven Engineering) para la realización de clases prácticas de robótica. La principal característica de los enfoques es que se prescinde de la fase de programación, por lo que se puede pasar del diseño a la implementación de manera autom´atica permitiendo dedicar más tiempo a los objetivos del aprendizaje. Para determinar la eficiencia de estas herramientas se ha utilizado una plataforma robótica móvil y se han realizado experimentos con alumnos utilizando Simulink con generación de código de Arduino y se han medido los resultados de manera subjetiva y objetiva.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

On stability assessment using the WalkIT smart rollator.

The presentation focuses on using sensors on a robotized rollator released under open license to assess balance. The system relies uniquely on onboard sensors, i.e. no sensors are attached to users. The method can be used to evaluate users' condition or to proactively reduce fall risk during navigation.PID2021-127221OB-I00 (Proyectos de Generación de Conocimiento 2021) Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tec

Clasificación de información táctil para la detección de personas

Este artículo presenta el diseño de un efector final táctil y la aplicación de técnicas de inteligencia artificial para la detección de personas mediante un brazo manipulador ligero de 6 grados de libertad. Este efector está compuesto por un sensor táctil de alta resolución que permite obtener imágenes de presión. El sistema extrae información háptica en situaciones de catástrofe en las que, generalmente, existe baja visibilidad, con el propósito de evaluar el estado de las víctimas en función de la urgencia de atención (triaje). Se han implementado dos métodos de inteligencia artificial para clasificar imágenes obtenidas por el sensor táctil, distinguiendo los contactos con personas de objetos inertes en escenarios de desastre. Cada método dispone de un extractor de características de imágenes de presión y un clasificador, obtenido por aprendizaje supervisado. Para validar los métodos se han realizado experimentos de clasificación en clases Humano y No humano. Finalmente, se ha realizado una comparación de ambos métodos en términos de porcentaje de acierto y tiempo empleado para la clasificación, en base a los resultados de los experimentos.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Transfer learning or design a custom CNN for tactile object recognition

International Workshop on Robotac: New Progress in Tactile Perception and Learning in RoboticsNovel tactile sensors allow treating pressure lectures as standard images due to its highresolution. Therefore, computer vision algorithms such as Convolutional Neural Networks (CNNs) can be used to identify objects in contact. In this work, a high-resolution tactile sensor has been attached to a robotic end-effector to identify objects in contact. Moreover, two CNNs-based approaches have been tested in an experiment of classification of pressure images. These methods include a transfer learning approach using a pre-trained CNN on an RGB images dataset and a custom-made CNN trained from scratch with tactile information. A comparative study of performance between them has been carried out.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech. Spanish project DPI2015-65186-R, the European Commission under grant agreement BES-2016-078237, the educational project PIE-118 of the University of Malag

Methods for autonomous wristband placement with a search-and-rescue aerial manipulator

A new robotic system for Search And Rescue (SAR) operations based on the automatic wristband placement on the victims’ arm, which may provide identification, beaconing and remote sensor readings for continuous health monitoring. This paper focuses on the development of the automatic target localization and the device placement using an unmanned aerial manipulator. The automatic wrist detection and localization system uses an RGB-D camera and a convolutional neural network based on the region faster method (Faster R-CNN). A lightweight parallel delta manipulator with a large workspace has been built, and a new design of a wristband in the form of a passive detachable gripper, is presented, which under contact, automatically attaches to the human, while disengages from the manipulator. A new trajectory planning method has been used to minimize the torques caused by the external forces during contact, which cause attitude perturbations. Experiments have been done to evaluate the machine learning method for detection and location, and for the assessment of the performance of the trajectory planning method. The results show how the VGG-16 neural network provides a detection accuracy of 67.99%. Moreover, simulation experiments have been done to show that the new trajectories minimize the perturbations to the aerial platform.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Autonomous Wristband Placement in a Moving Hand for Victims in Search and Rescue Scenarios With a Mobile Manipulator.

In this letter, we present an autonomous method for the placement of a sensorized wristband to victims in a Search-And-Rescue (SAR) scenario. For this purpose, an all-terrain mobile robot includes a mobile manipulator, which End-Effector (EE) is equipped with a detachable sensorized wristband. The wristband consists of two links with a shared shaft and a spring. This configuration allows the wristband to maintain fixed to the EE while moving and get placed around the victim’s forearm once the contact is produced. The method has two differentiated phases: i) The visual moving hand tracking phase, where a 3D vision system detects the victim’s hand pose. At the same time, the robotic manipulator tracks it with a Model Predictive Controller (MPC). ii) The haptic force-controlled phase, where the wristband gets placed around the victim’s forearm controlling the forces exerted. The wristband design is also discussed, considering the magnitude of the force needed for the attachment and the torque the wristband exerts to the forearm. Two experiments are carried out, one in the laboratory to evaluate the performance of the method and the second one in a SAR scenario, with the robotic manipulator integrated with the all-terrain mobile robot. Results show a 97.4% success in the wristband placement procedure and a good performance of the whole system in a large scale disaster exercisePlan Propio de la Universidad de Málaga, y Ministerio de Ciencia, Innovaci ón y Universidades, Gobierno de España, RTI2018-093421-B-I00. Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech